9.1 模型调参
- 手动调节超参数
- 从一个好的baseline开始,一些高质量工具包有默认设置的超参数
- 只调一个值,重新训练模型看改变
- 重复调节超参数
- 哪个超参数更重要
- 模型对于超参数哪个更敏感
- 调参管理
- 用日志记录训练的超参数
- 用txt存储log,把核心指标放在Excel
- 用tensorboard记录
- 复现很难
- 环境(硬件和库)
- 代码
- 随机性(SGD等)3.4 随机梯度下降
- 用日志记录训练的超参数
- 自动机器学习(autoML)
- 超参数调节(HPO)9.2 超参数优化
- 神经网络模型构建(NAS)10.1 深度神经网络架构